AI Papers Daily

#multimodal pretraining

2 篇

Scalable Visual Pretraining for Language Intelligence

可扩展的视觉预训练用于语言智能

🧭 视觉文档预训练提升语言智能

Shanghai Artificial Intelligence Laboratory · University of Science and Technology of China · Zhejiang University · Shanghai Jiao Tong University

直接在视觉文档上预训练可超越纯文本预训练，为语言智能提供高效可扩展路径

📌 工作参考价值（4 点）

• 商品详情页理解：电商场景中大量信息以布局、表格、图片形式存在，传统 OCR→文本 流程丢失空间关系。可借鉴视觉预训练，直接对详情页截图编码，提升对结构化信息（如规格参数、对比图表）的理解，改善搜索与推荐相关性。
• Agent UI 理解：在购物助手、广告投放等 Agent 任务中，直接对操作界面截图进行视觉预训练，能让模型学会从像素推断可点击元素与交互逻辑，减少对 DOM 或渲染文本的依赖，提升自动化决策鲁棒性。
• 落地页质量评估：广告落地页通常包含大量视觉元素，视觉预训练后的模型可从整体布局、美学设计角度评估页面转化潜力，用于素材优选或创意生成前的质量过滤。
• 跨模态语义对齐：视觉预训练获得的表征可与商品标题、用户行为序列联合微调，形成更强的跨模态语义空间，有助于冷启动商品或图文不匹配问题的解决。

Training | 2026-07-09 | HF Daily | score 6/10

visual pretraininglanguage modeldocument understandingunsupervised learningmultimodal pretraining

DataComp-VLM: Improved Open Datasets for Vision-Language Models

DataComp-VLM：改进视觉语言模型的开放数据集基准

🧭 多模态数据筛选与混合策略基准

数据混合而非过滤是提升VLM训练质量的关键，指令丰富混合可扩展性更优

📌 工作参考价值（4 点）

• 数据混合优于过滤：在构建电商多模态模型（如商品图文理解）时，应优先投入人力设计数据配比（例如指令数据 vs. 简单图文对），而非单纯用质量过滤丢弃数据。
• 增加指令微调数据占比：对于需要遵循指令的产品（如商品描述生成、多模态对话搜索），在预算内大幅提升指令格式样本的比例，能带来更好的下游任务扩展性，且收益随模型规模扩大而放大。
• 复用 DCVLM 基准框架：可将内部多源数据（用户评价图、商品主图、商品标题、问答对）组织成类似四类数据类型（图像-文本对、交错文档、纯文本、指令数据），利用其可插拔过滤/混合/采样接口做快速消融实验，找到最优数据配方。
• 小预算探索大模型效果：DCVLM 的低 token 预算轨道（如 6.25B）可用来预估不同数据策略在更大规模下的表现，适合资源有限的业务团队在迭代中提前淘汰劣化配方。

Multimodal | 2026-06-25 | HF Daily | score 6/10

VLMdata curationmultimodal pretrainingbenchmarkscaling laws